4.3.1 이벤트 기반 비전 (Event-based Vision): 프레임 단위가 아닌 빛의 변화를 감지하는 뉴로모픽 비전 센서의 활용

4.3.1 이벤트 기반 비전 (Event-based Vision): 프레임 단위가 아닌 빛의 변화를 감지하는 뉴로모픽 비전 센서의 활용

1. 서론: 시각 정보 획득 패러다임의 대전환

21세기 로봇 공학과 컴퓨터 비전 분야는 전례 없는 기술적 진보를 이룩했음에도 불구하고, 시각 정보를 획득하는 근본적인 방식에 있어서는 여전히 19세기 영화 필름의 유산인 ‘프레임(Frame)’ 개념에 갇혀 있었다. 전통적인 프레임 기반 카메라는 장면 내의 변화 유무와 관계없이, 사전에 설정된 고정 주파수(예: 30fps, 60fps)에 따라 전체 픽셀의 셔터를 동기적으로 개폐하여 정지 영상을 연속적으로 획득한다. 이러한 방식은 정적인 환경이나 제어된 조명 하에서는 유효하지만, 데이터의 막대한 중복성(Redundancy), 고속 운동체에 대한 반응 지연(Latency), 그리고 제한적인 동적 범위(Dynamic Range)라는 치명적인 하드웨어적 병목 현상을 야기한다. 이는 자율 주행 차량이 터널을 빠져나갈 때 순간적으로 시야를 잃거나, 고속 드론이 날아오는 장애물을 피하지 못하는 원인이 되어왔다.1

이러한 한계를 극복하기 위해 등장한 것이 바로 이벤트 기반 비전(Event-based Vision), 혹은 **뉴로모픽 비전(Neuromorphic Vision)**이다. 생물학적 망막(Retina)의 작동 원리에서 영감을 얻은 이 기술은 “변화가 없으면 데이터도 없다“는 철학을 바탕으로 한다. 이벤트 카메라는 이미지를 찍지 않는다. 대신, 각 픽셀이 독립적인 신경세포처럼 작동하며 밝기(Intensity)의 대수적(Logarithmic) 변화를 지속적으로 모니터링하다가, 변화가 감지되는 순간에만 해당 위치와 시간 정보를 마이크로초(µs) 단위의 해상도로 비동기 전송한다.

본 장에서는 이벤트 기반 비전의 기술적 원리와 이를 구현한 최신 하드웨어(Sony, iniVation, Prophesee 등)의 사양을 상세히 분석하고, 스파이킹 신경망(SNN)을 포함한 혁신적인 처리 알고리즘과 2024-2025년의 최신 연구 성과를 바탕으로 로봇 제어 및 SLAM 분야에서의 응용 사례를 포괄적으로 기술한다. 이는 단순한 센서의 교체를 넘어, 인공 지능이 세상을 인식하고 반응하는 방식을 근본적으로 재정의하는 과정이다.

2. 작동 원리 및 기술적 특성: 실리콘 망막의 해부

2.1 픽셀 아키텍처와 비동기 신호 생성 메커니즘

이벤트 카메라의 핵심은 동적 비전 센서(Dynamic Vision Sensor, DVS) 픽셀 회로에 있다. 기존 CMOS 이미지 센서(CIS)가 광다이오드에 축적된 전하를 적분하여 전압으로 변환하고 이를 글로벌 셔터나 롤링 셔터 방식으로 순차적으로 읽어내는 것과 달리, 이벤트 카메라의 픽셀은 연속 시간(Continuous-time) 영역에서 작동한다.

각 픽셀은 광전류(Photocurrent, I_{ph})를 받아들여 이를 로그 전압(V_{log} \propto \ln(I_{ph}))으로 변환하는 수광부와, 이 전압의 변화량을 감지하는 차분 회로, 그리고 변화가 임계값을 넘었을 때 신호를 생성하는 비교기(Comparator)로 구성된다. 픽셀이 시간 t에서 이벤트(Event)를 생성하는 조건은 다음과 같은 수식으로 표현된다:
\Delta \ln(I(x, y, t)) = \ln(I(x, y, t)) - \ln(I(x, y, t_{last})) \ge p \cdot \theta
여기서 (x, y)는 픽셀의 좌표, t_{last}는 해당 픽셀에서 마지막으로 이벤트가 발생했던 시간, \theta는 변화 감지의 민감도를 결정하는 임계값(Threshold), p \in {+1, -1}는 밝기의 증가(ON) 또는 감소(OFF)를 나타내는 극성(Polarity)이다. 이 조건이 충족되면 픽셀은 즉시 리셋되며, 센서는 (x, y, t, p) 형태의 튜플 데이터를 버스로 송출한다. 이 방식을 **주소-이벤트 표현(Address-Event Representation, AER)**이라 하며, 데이터는 클럭(Clock)에 종속되지 않고 사건이 발생한 순서대로 스트리밍된다.1

2.2 기존 비전 시스템 대비 차별화된 4대 강점

이벤트 기반 센싱은 기존 프레임 기반 시스템이 물리적으로 도달할 수 없는 영역의 성능을 제공하며, 이는 로봇 공학의 난제들을 해결하는 열쇠가 된다.

2.2.1 초고속 시간 해상도와 마이크로초 단위의 반응성

프레임 카메라가 30fps(약 33ms) 또는 60fps(약 16ms)의 간격으로 세상을 샘플링하는 동안, 그 사이의 모든 정보는 유실된다(Blind time). 반면, 이벤트 카메라는 픽셀 수준에서 마이크로초(µs) 단위의 시간 해상도를 가진다. 최신 센서인 Sony IMX636의 경우 1000 lux 조도 환경에서 100µs 미만의 픽셀 레이턴시를 기록한다. 이는 사실상 수천에서 수만 fps의 고속 카메라와 같은 시간적 연속성을 제공하면서도, 데이터 양은 변화가 있는 픽셀 수에 비례하여 현저히 적게 발생함을 의미한다. 이러한 특성은 드론의 프로펠러와 같이 고속으로 회전하는 물체의 움직임을 왜곡 없이 포착하거나, 날아오는 물체를 실시간으로 회피해야 하는 고속 로봇 제어에 필수적이다.2

2.2.2 모션 블러(Motion Blur)의 제거

노출 시간(Exposure time) 동안 셔터를 열어두는 프레임 카메라는 피사체나 카메라가 빠르게 움직일 경우 필연적으로 이미지가 흐려지는 모션 블러 현상을 겪는다. 모션 블러는 엣지(Edge) 정보를 뭉개뜨려 SLAM이나 특징점 추적 알고리즘의 성능을 급격히 저하시킨다. 그러나 이벤트 카메라는 빛의 적분이 아닌 순간적인 변화율을 감지하므로, 아무리 빠른 움직임 상황에서도 선명한 윤곽선 정보를 제공한다. 이는 “Event-based Structure-from-Orbit“과 같은 최신 연구에서 고속 회전체의 3D 구조를 정밀하게 복원할 수 있는 기반이 된다.3

2.2.3 120dB 이상의 고도 동적 범위 (HDR)

인간의 눈은 약 120dB 이상의 밝기 차이를 인식할 수 있는 반면, 일반적인 카메라는 60dB 수준에 불과하다. 이벤트 카메라는 입사광을 선형이 아닌 로그 스케일로 압축하여 처리하는 픽셀 회로 특성 덕분에, 어두운 밤(수 lux)부터 강렬한 태양광(100 kLux)까지의 범위를 동시에 포착할 수 있다. 예를 들어, 터널 내부의 어둠과 출구 밖의 밝은 빛이 공존하는 장면에서도 포화(Saturation)되거나 암흑으로 묻히지 않고 피사체의 움직임을 감지한다. iniVation의 DVXplorer나 Sony의 IMX636/637 센서는 스펙상 120dB에서 최대 140dB 이상의 동적 범위를 지원하여, 조명 조건이 통제되지 않는 야외 필드 로봇의 시각 센서로 최적이다.2

2.2.4 전력 및 대역폭 효율성

프레임 카메라는 정지된 배경을 촬영할 때도 매 프레임마다 수백만 픽셀의 데이터를 전송하고 처리해야 한다. 이는 막대한 전력 낭비와 연산 부하를 초래한다. 이벤트 카메라는 변화가 없는 배경 영역(Static background)에 대해서는 데이터를 전송하지 않는다(Silent). 따라서 데이터 생성량은 장면의 동적 특성(Scene dynamics)에 비례하며, 이는 배터리 용량이 제한적인 마이크로 드론이나 IoT 엣지 디바이스에서 시스템 전체의 전력 효율을 획기적으로 개선한다.10

3. 하드웨어 생태계 및 최신 센서 기술 분석 (2024-2025)

이벤트 카메라 하드웨어는 초기 연구용 프로토타입 단계를 지나, 2024년과 2025년을 기점으로 대량 생산과 고성능화가 동시에 이루어지는 성숙기에 진입했다. 특히 이미지 센서 시장의 강자인 Sony와 이벤트 비전 스타트업인 Prophesee의 협력, 그리고 원천 기술을 보유한 iniVation의 고도화된 센서 라인업이 시장을 주도하고 있다.

3.1 적층형(Stacked) 센서 기술의 도입과 픽셀의 미세화

초기 이벤트 센서는 복잡한 아날로그 회로를 각 픽셀에 내장해야 했기 때문에 픽셀 크기(Pixel Pitch)를 줄이는 데 한계가 있었다(예: DAVIS240의 18.5µm). 그러나 Sony는 독자적인 Cu-Cu(Copper-to-Copper) 연결 기술을 적용한 3D 적층형 공정을 도입하여 이 문제를 해결했다. 이 기술은 수광부(Photodiode)가 위치한 상부 웨이퍼와 신호 처리 로직이 위치한 하부 웨이퍼를 픽셀 단위로 직접 접합하는 방식이다. 이를 통해 픽셀 크기를 4.86µm까지 획기적으로 축소하면서도 높은 개구율(Fill Factor)과 해상도를 확보할 수 있게 되었다.12

3.2 주요 상용 센서 상세 사양 비교

전문적인 활용을 위해 현재 시장에서 가용한 최신 센서들의 사양을 비교 분석한다.

[표 1] 2025년 기준 주요 이벤트 기반 비전 센서 및 카메라 모듈 사양 비교

제조사 및 모델Sony/Prophesee IMX636Sony/Prophesee IMX637iniVation DVXplorer / MicroiniVation DAVIS346
해상도1280 x 720 (HD)640 x 512 (VGA)640 x 480 (VGA)346 x 260 (QVGA)
광학 포맷1/2.5 인치1/4.5 인치--
픽셀 크기4.86 µm x 4.86 µm4.86 µm x 4.86 µm9 µm x 9 µm18.5 µm x 18.5 µm
최대 처리량1.06 GEPS (Giga Events/s)1.06 GEPS165 ~ 450 MEPS12 MEPS
동적 범위> 86dB (Normal) / > 120dB (HDR Mode)> 86dB / > 120dB~ 110dB~ 120dB
최소 레이턴시< 100 µs (@1k lux)< 100 µs (@1k lux)< 1 ms (Typical)< 1 ms
전력 소모205 mW (Max), 5 mW (Standby)142 mW (Max), 2.2 mW (Standby)< 140 mA @ 5V (USB)-
출력 인터페이스MIPI D-PHY, SLVS-ECMIPI, SLVSUSB 3.0 / CUSB 3.0
주요 특징ESP(Event Signal Processing) 내장, 산업용 표준 HD 해상도, 고속 처리초소형 폼팩터, 웨어러블/IoT 타겟, IMX636의 축소판글로벌 홀드(Global Hold) 기능, 높은 처리량, 연구용 표준APS(프레임) + DVS 동시 출력, IMU 통합, 센서 융합 연구용

3.2.1 Sony & Prophesee: IMX636 및 IMX637

IMX636은 업계 최초로 HD 해상도를 지원하며 대량 생산이 가능한 플래그십 센서이다. 가장 큰 특징은 센서 내부에 ESP(Event Signal Processing) 블록을 하드웨어적으로 내장했다는 점이다. ESP는 픽셀에서 발생한 원시 데이터의 노이즈를 1차적으로 필터링하고, 데이터 패킷을 효율적으로 포맷팅하여 호스트 프로세서의 부하를 줄여준다. 또한, 1.06 GEPS라는 압도적인 이벤트 처리량을 통해 데이터 폭주 상황에서도 정보 손실을 최소화한다. IMX637은 IMX636과 동일한 픽셀 기술을 사용하되 해상도를 VGA급으로 낮추고 광학 포맷을 1/4.5인치로 줄여 AR 글래스나 소형 드론과 같은 공간 제약이 큰 애플리케이션을 타겟팅한다.15

3.2.2 iniVation: DVXplorer 및 DAVIS 시리즈

iniVation은 뉴로모픽 연구의 발상지인 스위스 취리히 연방 공과대학교(ETH Zurich) 및 취리히 대학(UZH)에서 파생된 기업으로, 연구 개발용 센서 시장을 선도한다.

  • DAVIS (Dynamic and Active-pixel Vision Sensor): DAVIS346 모델은 하나의 픽셀 어레이 안에 DVS 회로와 전통적인 글로벌 셔터 이미지 센서(APS) 회로를 물리적으로 통합했다. 이로 인해 이벤트 스트림과 일반 흑백 이미지를 완벽하게 동기화하여 동시에 출력할 수 있다. 이는 기존 컴퓨터 비전 알고리즘을 이벤트 데이터로 검증하거나, 두 모달리티의 장점을 결합하는 센서 융합(Sensor Fusion) 연구에 있어 대체 불가능한 가치를 지닌다.1
  • DVXplorer: 순수하게 이벤트 감지 성능에 집중한 모델로, 165 MEPS 이상의 처리량을 제공하며 픽셀 감도와 시간 해상도 튜닝(Bias tuning)에 있어 연구자에게 폭넓은 제어권을 제공한다. 특히 ‘Global Hold’ 기능을 통해 외부 트리거 신호에 맞춰 모든 픽셀을 동시에 리셋하거나 제어할 수 있어 멀티 카메라 동기화 시스템 구축에 유리하다.9

4. 데이터 처리 및 인공지능 알고리즘: 희소성을 다루는 기술

이벤트 카메라가 생성하는 데이터는 공간적으로 희소(Sparse)하고 시간적으로 비동기적인(Asynchronous) 점군(Point cloud)의 형태를 띤다. 이는 밀집된 행렬(Dense Matrix) 연산에 최적화된 기존의 CNN(Convolutional Neural Network)이나 전형적인 컴퓨터 비전 알고리즘을 직접 적용하기 어렵게 만든다. 따라서 2024년과 2025년의 연구는 이러한 비정형 데이터를 효율적으로 처리하기 위한 새로운 표현(Representation) 방식과 신경망 아키텍처 개발에 집중되고 있다.

4.1 이벤트 데이터 표현 (Event Representation)

연구자들은 이벤트 데이터를 딥러닝 모델에 주입하기 위해 다양한 변환 기법을 고안했다.3

  1. 이미지 기반 표현 (Image-based / Event-to-Frame): 일정 시간 윈도우(\Delta t) 또는 일정 개수(N)의 이벤트를 누적하여 2D 히스토그램이나 ‘시간 표면(Time Surface)’ 이미지로 변환한다. 이를 통해 성숙한 CNN 기술을 활용할 수 있으나, 이벤트 카메라 고유의 시간 해상도가 희석되고 모션 블러가 다시 발생할 수 있는 단점이 있다. 이를 보완하기 위해 ’적응형 시간 해상도’를 적용한 시각화 방법 등이 연구되고 있다.4
  2. 복셀 그리드 (Voxel Grid): 이벤트를 시간 축(t)을 포함한 3차원 공간(x, y, t)의 그리드에 보간(Interpolate)하여 밀집된 텐서(Tensor)로 변환한다. 각 복셀 값은 해당 시공간 영역 내의 이벤트 밀도나 시간 정보를 담는다. 이 방식은 시간적 정보를 보존하면서도 3D Convolution 연산이 가능하여, 최근 광류 추정(Optical Flow)이나 비디오 재구성(Video Reconstruction) 연구에서 표준적인 입력 포맷으로 자리 잡았다.
  3. 포인트 클라우드 및 그래프 (Point Cloud & Graph): 이벤트를 3차원 공간상의 점으로 취급하여 PointNet이나 그래프 신경망(GCN)을 적용한다. 데이터의 희소성을 가장 잘 활용하여 연산 효율을 높일 수 있는 방식이나, 최근접 이웃 검색(Nearest Neighbor Search) 등에 소요되는 비용이 크다는 과제가 있다.

4.2 스파이킹 신경망 (SNN): 뉴로모픽의 완성

뉴로모픽 센서의 잠재력을 극대화하기 위해서는 처리 알고리즘 또한 생물학적 뇌를 모방한 **스파이킹 신경망(Spiking Neural Networks, SNN)**을 사용하는 것이 이상적이다. SNN은 뉴런의 막전위(Membrane Potential)가 임계값을 넘을 때만 스파이크(이벤트)를 발생시키는 방식으로 작동하며, 이는 이벤트 카메라의 출력 특성과 정확히 일치한다.

4.2.1 SNN의 에너지 효율성 및 연산 이점

일반적인 인공신경망(ANN)이 실수(Floating-point) 값의 곱셈-누적(MAC) 연산을 매 계층마다 수행하는 반면, SNN은 입력이 0(침묵) 또는 1(스파이크)인 이진 신호이므로, 스파이크가 도착했을 때만 가중치를 더하는 덧셈(Accumulation, AC) 연산만을 수행한다. 연구 결과에 따르면, 45nm CMOS 공정 기준 AC 연산은 MAC 연산 대비 약 5.1배 더 에너지 효율적이다. 이러한 특성은 인텔의 Loihi나 SynSense의 Speck과 같은 뉴로모픽 하드웨어 상에서 극도로 낮은 전력(mW 수준)으로 복잡한 비전 작업을 수행할 수 있게 한다.25

4.2.2 최신 SNN 아키텍처 연구: ST-FlowNet (2025)

2025년 Neural Networks 저널과 관련 아카이브에 발표된 ST-FlowNet은 이벤트 기반 광류(Optical Flow) 추정을 위해 설계된 SNN 아키텍처의 진보를 보여준다.26

  • 3D 시공간 인코딩: 입력 이벤트를 단순 누적하지 않고 시간 차원까지 고려한 3D 인코딩 방식을 사용하여 모션 정보를 보존한다.
  • 하드웨어 친화적 설계: SNN의 특성에 맞춘 ‘맥스 풀링(Max Pooling)’ 기법을 도입하여 정보 손실 없이 공간 해상도를 줄이고 연산량을 감소시켰다.
  • 새로운 학습 전략: SNN은 미분 불가능한 스파이크 함수 때문에 역전파(Backpropagation) 학습이 어렵다. ST-FlowNet은 이를 해결하기 위해 먼저 ANN 모델을 학습시킨 후 이를 파라미터 변환(A2S Conversion)하거나, 생체 정보 융합 학습(BISNN) 전략을 사용하여 SNN으로 전이시키는 방법을 제안했다.
  • 성과: 이 모델은 MVSEC, DSEC 등 주요 벤치마크 데이터셋에서 기존 ANN 기반 모델과 대등한 정확도를 보이면서도 훨씬 낮은 에너지 소비량을 달성하였다.

4.2.3 하이브리드 SNN-ANN 아키텍처 (IROS 2024)

SNN의 에너지 효율성과 ANN의 높은 표현력 및 학습 용이성을 결합하려는 시도가 IROS 2024에서 **“Best of Both Worlds”**라는 제목의 연구로 발표되었다.29 이 하이브리드 아키텍처는 네트워크의 앞단(Encoder)에는 SNN을 배치하여 비동기 이벤트 데이터의 시간적 정보를 효율적으로 추출하고, 뒷단(Decoder)에는 ANN을 배치하여 복잡한 회귀(Regression) 및 공간적 특징 추출을 수행한다.

  • 핵심 결과: DSEC-flow 데이터셋 평가에서 순수 SNN 대비 평균 종점 오차(AEE)를 40% 감소시켰으며, 순수 ANN 대비 48% 낮은 에러율과 동등한 수준의 에너지 효율을 달성했다. 이는 SNN이 동적 정보 추출에, ANN이 정밀한 추론에 강점이 있음을 실증적으로 보여준 사례이다.

5. 로봇 공학 및 자율 시스템 핵심 응용 분야

이벤트 기반 비전은 단순한 ’보는 기능’을 넘어, 로봇의 생존과 직결된 고속 제어 및 극한 환경에서의 위치 추정에 혁신을 가져오고 있다.

5.1 고속 드론의 동적 장애물 회피 및 뉴로모픽 제어

쿼드로터와 같은 소형 무인 항공기(UAV)는 탑재할 수 있는 배터리와 컴퓨팅 파워(SWaP: Size, Weight, and Power)에 엄격한 제약이 따른다. 기존 프레임 카메라는 영상 획득부터 처리까지 수십 밀리초(ms)의 지연 시간을 가지며, 이는 시속 20km 이상으로 비행하는 드론이 장애물을 피하기에는 너무 느린 속도이다.

  • 초저지연 회피 기동: 취리히 대학(UZH)의 Davide Scaramuzza 교수 팀은 이벤트 카메라를 활용하여 전체 인식-제어 루프의 지연 시간을 3.5ms까지 단축시켰다. 이를 통해 드론은 상대 속도 10m/s 이상으로 날아오는 공을 피하거나, 복잡한 장애물 사이를 고속으로 통과하는 비행을 시연했다. 이 연구는 이벤트 카메라가 모션 블러 없이 물체의 움직임을 즉각적으로 감지함으로써 로봇의 반응 속도를 기계적 한계치까지 끌어올릴 수 있음을 증명했다.31
  • 완전 뉴로모픽 제어 (End-to-End Neuromorphic Control): 2025년 NeurIPS 및 관련 저널에 발표된 연구들은 인식을 넘어 제어까지 SNN으로 통합하는 방향으로 진화하고 있다. 델프트 공대(TU Delft) 등의 연구팀은 27g에 불과한 소형 드론 ’Crazyflie’에 뉴로모픽 칩(Loihi 등)을 탑재하고, 원시 이벤트 데이터를 받아 모터 제어 신호(Thrust/Attitude command)를 출력하는 SNN 컨트롤러를 개발했다. 이 시스템은 500Hz 이상의 제어 주기를 달성하며, 외부 컴퓨팅 자원의 도움 없이 온보드 칩만으로 안정적인 호버링과 착륙을 수행했다. 이는 센서와 프로세서, 액추에이터가 하나의 신경망으로 긴밀하게 연결된 생체 모방형 로봇의 초기 형태를 보여준다.35

5.2 극한 환경에서의 SLAM: 어둠과 빛을 넘어서

SLAM(Simultaneous Localization and Mapping)은 로봇이 자신의 위치를 파악하고 지도를 작성하는 기술이다. 이벤트 기반 SLAM(EVSLAM)은 조명 변화가 극심하거나 고속 이동이 발생하는 환경에서 기존 시각적 주행 거리 측정(Visual Odometry, VO) 기술이 실패하는 문제를 해결한다.

  • Deep Event VO (DEVO): 2024년 3DV 학회에서 발표된 뮌헨 공대(TUM) 연구팀의 DEVO 시스템은 단안(Monocular) 이벤트 카메라만을 사용하여 세계 최고 수준의 VO 성능을 달성했다. DEVO는 딥러닝 기반의 패치 선택 메커니즘을 통해 이벤트 스트림 내에서 가장 추적하기 좋은 특징점(Feature)을 선별하고, 이를 지속적으로 추적하여 카메라의 6자유도(6-DoF) 궤적을 추정한다. 이 시스템은 기존 이벤트 기반 방식 대비 트래킹 에러를 최대 97% 감소시켰다.37
  • Stereo-DEVO: 2025년 아카이브(arXiv)를 통해 공개된 후속 연구인 Stereo-DEVO는 양안(Stereo) 이벤트 카메라 구성을 통해 DEVO의 성능을 확장했다. 단안 카메라의 한계인 스케일 모호성(Scale ambiguity)을 해결하여 실제 미터(Metric) 단위의 거리 정보를 정확히 추정한다. 특히 야간의 HDR 환경이나 텍스처가 부족한 환경에서도 강인한 성능을 보였으며, VGA 해상도의 이벤트 데이터를 CPU 상에서 실시간으로 처리할 수 있는 효율성을 갖추었다. 이는 자율 주행 차량이나 야간 정찰 로봇에 즉시 적용 가능한 수준의 기술 성숙도를 의미한다.39
  • 센서 퓨전 (Sensor Fusion): 이벤트 카메라는 정지 상태에서는 데이터를 생성하지 않는다는 단점이 있다. 이를 보완하기 위해 2025년의 연구들은 IMU(관성 측정 장치), 기존 프레임 카메라, LiDAR와 이벤트 카메라를 결합하는 멀티모달 센서 퓨전으로 나아가고 있다. ’Ultimate SLAM’과 같은 프레임워크는 각 센서의 장점(프레임 카메라의 정적 정보, 이벤트 카메라의 동적 정보, IMU의 고주파수 정보)을 상호 보완적으로 융합하여 로봇의 상태 추정 강인성을 극대화한다.41

5.3 3차원 재구성 및 고속 물체 추적 (Detection & Tracking)

이벤트 카메라는 회전하는 선풍기 날개나 빠르게 비행하는 다른 드론(Anti-drone system)과 같이 인간의 눈으로 쫓기 힘든 대상의 3차원 구조를 복원하거나 추적하는 데 탁월하다.

  • Event-based Structure-from-Orbit (CVPR 2024): 고속으로 회전하는 물체를 정지된 이벤트 카메라로 촬영하여 3차원 형상을 복원하는 기술이 소개되었다. 기존 카메라로는 블러 때문에 형체조차 알아볼 수 없는 회전체를, 이벤트 카메라는 높은 시간 해상도로 샘플링하여 정밀한 3D 모델로 재구성해냈다. 이는 산업용 모터 검사나 우주 파편 분석 등에 활용될 수 있다.7
  • 드론 탐지 및 추적: 보안 분야에서는 침입 드론을 탐지하는 데 이벤트 카메라가 핵심 센서로 부상하고 있다. 작은 크기와 빠른 속도, 불규칙한 움직임을 가진 드론은 기존 감시 카메라나 레이더로 포착하기 어렵지만, 이벤트 카메라는 배경 잡음을 무시하고 움직이는 표적의 궤적만을 선명하게 추출할 수 있다. 2025년의 연구들은 이를 SNN 기반의 객체 탐지 알고리즘(Spiking YOLO 등)과 결합하여 엣지 디바이스상에서 실시간으로 수행하는 시스템을 제안하고 있다.42

6. 결론 및 향후 전망: 이벤트 비전의 대중화와 과제

4.3.1절에서 살펴본 바와 같이, 이벤트 기반 비전 기술은 ’프레임’이라는 오랜 제약을 깨고 ’빛의 변화’라는 정보의 본질에 집중함으로써 컴퓨터 비전과 로봇 공학의 새로운 지평을 열고 있다.

  • 하드웨어: Sony의 대량 생산 체제 진입(IMX636/637)은 센서의 해상도를 HD급으로 끌어올리고 가격 경쟁력을 확보하게 하여, 산업용을 넘어 소비자용 모바일 기기 및 AR/VR 기기로의 확산을 예고하고 있다.
  • 알고리즘: SNN과 하이브리드 아키텍처의 발전은 이벤트 카메라의 데이터를 처리하는 데 있어 에너지 효율성과 정확도라는 두 마리 토끼를 잡을 수 있음을 증명했다. 특히 ST-FlowNet과 같은 최신 모델들은 기존 딥러닝과의 격차를 빠르게 좁히고 있다.
  • 응용: 고속 드론, 자율 주행, 우주 탐사 등 ’속도’와 ‘강인함’, ’전력 효율’이 생명인 분야에서 이벤트 카메라는 선택이 아닌 필수가 되어가고 있다. DEVO와 같은 강인한 SLAM 알고리즘은 로봇이 어둠 속에서도 길을 잃지 않게 해주는 등대 역할을 한다.

그러나 완전한 대중화를 위해서는 여전히 해결해야 할 과제들이 남아 있다. 프레임 기반 비전(ImageNet, COCO 등)에 비해 턱없이 부족한 대규모 학습 데이터셋의 확충, 비동기 데이터 처리를 위한 표준화된 소프트웨어 프레임워크의 정립, 그리고 고해상도 센서에서 폭발적으로 생성되는 이벤트 데이터를 실시간으로 처리할 수 있는 전용 뉴로모픽 프로세서(NPU)의 발전이 시급하다.44

그럼에도 불구하고, 2025년 현재 이벤트 기반 비전은 로봇에게 인간보다 더 빠르고, 더 넓은 영역을 볼 수 있는 ’초월적인 시각’을 부여하는 가장 유망한 기술임이 분명하다. 이 기술은 머지않은 미래에 우리 주변의 모든 지능형 기기가 세상을 바라보는 표준적인 방식이 될 잠재력을 가지고 있다.

7. 참고 자료

  1. Event camera - Wikipedia, https://en.wikipedia.org/wiki/Event_camera
  2. Event-based Vision | Department of Informatics - IFI UZH - Universität Zürich, https://www.ifi.uzh.ch/en/rpg/research/research_dvs.html
  3. Beyond the Frame: What Are Event Cameras and Why Do They Matter?, https://deepvisionconsulting.com/beyond-the-frame-what-are-event-cameras-and-why-do-they-matter/
  4. Visualization and Object Detection Based on Event Information - PMC - NIH, https://pmc.ncbi.nlm.nih.gov/articles/PMC9962390/
  5. An Event Coding Method Based on Frame Images With Dynamic Vision Sensor Modeling, https://ieeexplore.ieee.org/abstract/document/9173148/
  6. Event-based sensor IMX636 Prophesee Sony, https://www.prophesee.ai/event-based-sensor-imx636-sony-prophesee/
  7. CVPR 2024 Awards, https://cvpr.thecvf.com/virtual/2024/awards_detail
  8. Event-based Simultaneous Localization and Mapping: A Comprehensive Survey - arXiv, https://arxiv.org/html/2304.09793v2
  9. DVXplorer — inivation 2025-08-05 documentation, https://docs.inivation.com/hardware/current-products/dvxplorer.html
  10. Real-time 3D Particle Tracking Using Dynamic Vision Sensors, https://ifd.ethz.ch/research/group-roesgen/dynamic-vision-sensors.html
  11. Leveraging Asynchronous Spiking Neural Networks for Ultra Efficient Event-Based Visual Processing, https://ojs.aaai.org/index.php/AAAI/article/download/32154/34309
  12. Prophesee and Sony Develop a Stacked Event-Based Vision Sensor, https://www.prophesee.ai/2020/02/19/prophesee-sony-stacked-event-based-vision-sensor/
  13. Sony® Launches the new IMX636 and IMX637 Event-Based Vision Sensors - FRAMOS, https://framos.com/news/sony-launches-the-new-imx636-and-imx637-event-based-vision-sensors/
  14. Sony to Release Two Types of Stacked Event-Based Vision Sensors with the Industry’s Smallest*1 4.86μm Pixel Size for Detecting Subject Changes Only, https://www.sony-semicon.com/en/news/2021/2021090901.html
  15. Event-based sensor IMX637 Prophesee Sony, https://www.prophesee.ai/event-based-sensor-imx637-sony-prophesee/
  16. DVXplorer Micro — inivation 2025-08-05 documentation, https://docs.inivation.com/hardware/current-products/dvxplorer-micro.html
  17. Specifications – Current models - iniVation, https://inivation.com/wp-content/uploads/2023/11/2023-11-iniVation-devices-Specifications.pdf
  18. DAVIS346 MONO - COMMERCIAL RATE – iniVation online shop, https://shop.inivation.com/products/davis346
  19. IMX636 HD Sensor — Metavision SDK Docs 5.1.1 documentation, https://docs.prophesee.ai/stable/hw/sensors/imx636.html
  20. IMX637-AAMR-C | Prophesee, https://www.prophesee.ai/wp-content/uploads/2024/09/IMX637-AAMR-C-Product-Brief-2024.pdf
  21. davis 346 - iniVation, https://inivation.com/wp-content/uploads/2019/08/DAVIS346.pdf
  22. DVXplorer Mini | iniVation, https://inivation.com/wp-content/uploads/2023/03/DVXplorer-Mini.pdf
  23. Deep Learning for Event-based Vision: A Comprehensive Survey and Benchmarks - arXiv, https://arxiv.org/abs/2302.08890
  24. Deep Learning for Event-based Vision: A Comprehensive Survey and Benchmarks - arXiv, https://arxiv.org/html/2302.08890v3
  25. Spike-FlowNet: Event-based Optical Flow Estimation with Energy-Efficient Hybrid Neural Networks - European Computer Vision Association, https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123740358.pdf
  26. ST-FlowNet: An Efficient Spiking Neural Network for Event-Based Optical Flow Estimation, https://arxiv.org/html/2503.10195v2
  27. ST-FlowNet: An Efficient Spiking Neural Network for Event-Based Optical Flow Estimation, https://arxiv.org/html/2503.10195v1
  28. ST-FlowNet: An efficient Spiking Neural Network for event-based optical flow estimation, https://pubmed.ncbi.nlm.nih.gov/40561587/
  29. Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation, https://ieeexplore.ieee.org/document/10802844/
  30. Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation | Request PDF - ResearchGate, https://www.researchgate.net/publication/387421968_Best_of_Both_Worlds_Hybrid_SNN-ANN_Architecture_for_Event-based_Optical_Flow_Estimation
  31. Event-based Vision, Event Cameras, Event Camera SLAM - Robotics and Perception Group, https://rpg.ifi.uzh.ch/research_dvs.html
  32. Dynamic obstacle avoidance for quadrotors with event cameras - SciSpace, https://scispace.com/pdf/dynamic-obstacle-avoidance-for-quadrotors-with-event-cameras-3ynzhsbckd.pdf
  33. Dynamic obstacle avoidance for quadrotors with event cameras - PubMed, https://pubmed.ncbi.nlm.nih.gov/33022598/
  34. How Fast is Too Fast? The Role of Perception Latency in High-Speed Sense and Avoid, https://rpg.ifi.uzh.ch/docs/RAL19_Falanga.pdf
  35. Neuromorphic Attitude Estimation and Control - arXiv, https://arxiv.org/html/2411.13945v2
  36. Fully Autonomous Neuromorphic Navigation and Dynamic Obstacle Avoidance - NeurIPS, https://neurips.cc/virtual/2025/poster/120271
  37. Deep Event Visual Odometry - IEEE Xplore, https://ieeexplore.ieee.org/document/10550737/
  38. tum-vision/DEVO: [3DV ’24] Deep Event Visual Odometry - GitHub, https://github.com/tum-vision/DEVO
  39. Deep Visual Odometry for Stereo Event Cameras - arXiv, https://arxiv.org/html/2509.08235v1
  40. Deep Visual Odometry with Stereo Event Cameras (RA-L 2025) - YouTube, https://www.youtube.com/watch?v=7UykRsmk3Zc
  41. VIO-GO: optimizing event-based SLAM parameters for robust performance in high dynamic range scenarios - Frontiers, https://www.frontiersin.org/journals/robotics-and-ai/articles/10.3389/frobt.2025.1541017/full
  42. Drone Detection with Event Cameras - arXiv, https://arxiv.org/html/2508.04564v1
  43. Event-Based Vision Application on Autonomous Unmanned Aerial Vehicle: A Systematic Review of Prospects and Challenges - ResearchGate, https://www.researchgate.net/publication/399051130_Event-Based_Vision_Application_on_Autonomous_Unmanned_Aerial_Vehicle_A_Systematic_Review_of_Prospects_and_Challenges
  44. An Application-Driven Survey on Event-Based Neuromorphic Computer Vision - MDPI, https://www.mdpi.com/2078-2489/15/8/472
  45. Recent Event Camera Innovations: A Survey - arXiv, https://arxiv.org/html/2408.13627v2